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© Verfahren zur automatlschen Detektlon von kleinen beweglichen Objekten In naturlicher Umgebung. 
vorzugsweise einer Echtzettbildfolge 

(Sh Verfahren und Schahungsanordnung xur automatischen 
Detalction von kleinen beweglichen Objekten In naturlicher 
Umgebung einer Echtzeltbildfolge unter Verwendung eines 
die Umgebung ebtastenden elektrooptischen Sensors mit 
nachgeordneter Auswerteeinhelt und gegebenenfalls vorge- 
aehener Bilddaratellungaeinrichtung. Durch elne Reihe von 
Verfahrenstchrittan bzw. schartungstachnischen Ma8n«r»- 
men warden mdgllchst viele Informattonen aus den digitalen 
Bildem verarbettet. so daft elne optimale Detektion von 
Objekten. die gegebenenfalls von verschiedenen Sensoren 
erzeugt werden # mit einer geeigneten EchtzehvHardware 
ermoglicht wird. 




tn 

CO 
C4 

00 
CO 

Ul 

o 



Dte fola.nd.n Anfl.b.n slnd (ten vom Anm.ld.r •Ing.r.lcht.n UnterUotn •irtnomm.n 

BUNDESDRUCKEREI 03.96 602018/190 



10/27 



1 

Beschreibung 



DE 44 38 235 Al 



Die Erfindung betrifft ein Verfahren gem&B dem 
Oberbegriff von Anspruch 1 und cine Schaltungsanord- 
nung zur Durchfuhrung des Verfahrens. 

Ein derartiges Verfahren ist in der DE41 20 676C2 
beschrieben, welches zur Detektion von kleinen kom- 
pakten Objekten in naturlicher Umgebung bei nahezu 
vollst&ndiger Unterdruckung von irrelevanten Hinter- 
grundinformationen des Bildes unter Verwendung eines 
die Umgebung abtastenden elektrooptischen Sensors 
mit nachgeordneter Auswerteeinheit und gegebenen- 
falls vorhandener Bilddarstellungseinrichtung vorgese- 
hen ist 

; Dieses Verfahren, bei dem zur Gewinnung von Infor- 
rhationen fiber die Objekte in einem mehrstufigen Pro- 
zfcB zwei Annahmen, wonach kunstliche Objekte kom- 
pakt und teilweise symmetrisch sind, gemacht werden 
und bei dem das von einem elektrooptischen Sensor 
gelieferte digitale Bild zuerst durch ein zweidimensiona- 
les FIR-Filter geschickt wird, um wei&es Rauschen zu 
reduzieren, wird dabei in folgende Schritte gegliedert: 

a) Das so gefilterte Bild wird weiter verarbeitet und 
von mindestens drei jeweils mehrere Pixel enthal- 
tenden Matrizen abgetastet, wobei jeder Matrix 
eine Referenzmenge au&erhalb des zugehdrigen 
Matrixmittelpunktes vorgegeben wird und wobei 
die Referenzmengen jeder Matrix sich voneinander 
unterscheiden. 

b) Von jeder Referenzmenge werden das Maxi- 
mum und Minimum der Helligkeitswerte ermittelt 
Die Referenzmengen kdnnen vorzugsweise jeweils 
in den Ecken des 7 x 7 Bereiches (Matrix) angesie- 
delt sein, wobei die spezielle Auswahl der verschie- 
denen Referenzmengen aus. Fig, 1 (schraffierte 
Dreiecke) der DE41 20 676C2 zu entnehmen ist 
Dieser Verarbeitungsschritt berficksichtigt die 
Symmetrieerfordernisse zur Detektion kleiner, 
kompakter Objekte. Fur zweidimensionale Objek- 
te sind mindestens drei Referenzmengen und daher 
mindestens drei parallele Filterzweige erf orderlich. 

c) Im n&chsten Schritt werden in jedem Filterzweig 
die Ergebnisse der Maxima- und Minimaberech- 
nungen mit dem aktuellen Bildpunkt(pixel) im Zen- 
trum der Matrix verglichen und es erfolgt eine 
Markierung des dem jeweiligen Matrixmittelpunkt 
entsprechenden Pixels als signifikant und ihr Ein- 
trag in das Zwischenergebnisbild des Filterzweiges. 

Hierbei wird das dem jeweiligen Matrixmittelpunkt 
entsprechende Pixel dann markiert wenn erstens dieses 
Pixel um einen ersten Schwellwert heller als das Maxi- 
mum der Helligkeitswerte der zugeharigen Referenz- 
menge ist und zweitens wenn die Streuung der zugeha- 
rigen Referenzmenge kleiner als ein weitere'r fester 
Schwellwert ist wobei als MaB fur die Streuung der 
Helligkeitswerte hier die Differenz von Maximum und 
Minimum verwendet wird. 

Es werden somit die Kriterien 

P - M > T(K1) und M - m < L(K2) 

erfullt 

Dabei bedeuten: 
P: Intensitat des dem Matrixmittelpunkt entsprechen- 
den Pixels 

M: Maximum der lntensitaten der Referenzmenge 



m: Minimum der lntensitaten der Referenzmenge 
T: dynamischer Schwellwert 
L: fester Schwellwert 
Der Sinn dieses Verarbeitungsschrittes besteht darin, 
5 den zentralen Bildpunkt zu markieren, wenn sowohl der 
Bildpunkt genugend heller als seine Umgebung ist (dy- 
namische Schwelle T) und seine Umgebung nicht zu 
stark strukturiert ist (fester Schwellwert L fur Differenz 
M - n als MaB fur die Streuung). 

10 

d) Die markierten Pixel in den Zwischenergebnis- 
bildern werden dilatiert d. h. auf 3x3 Pixel vergrd- 
Bert Hierzu werden die benachbarten Pixel jedes 
markierten Pixels des digitalen Bildes markiert so 

15 daB alle markierten Pixel eine dilatierte Menge bil- 
den, und es werden die aus einer Referenzmenge 
gewonnenen dilatierten Mengenelemente mit den 
anderen jeweils aus einer Referenzmenge hervor- 
gegangenen dilatierten Mengenelementen UND- 

20 verknQpft Die UND-VerknQpfung s&mtlidier Er- 
gebnisbilder liefert das Endergebnis. Da jedoch aus 
Grunden unvollkommener Symmetrie nicht alle 
Filterzweige dasselbe Pixel markieren, ist die Er- 
zeugung der dilatierten Mengenelemente vor der 

25 UND-Verknfipfungerforderlich. 

Mit einem die obigen Verf ahrensschritte a) bis d) auf- 
weisenden Detektionsverfahren k6nnen irrelevante 
Hintergrundinformationen nahezu unterdrfickt werden, 

30 womit auch eine Reduktion der Falschalarme erzielt 
wird Eine Methode, die durch zuf&llige Fehler im De- 
tektionsprozeB entstehenden Falschalarme zu reduzie- 
ren, ist die Verfolgung von detektierten Objekten fiber 
eine bestimmte Zeitspanne. Objekte, die keine Spuren 

35 bilden, werden nicht weiter berucksichtigt 

Hierbei kannen die Objekte jedoch nur dann verfolgt 
werden, wenn man fiber normale Bildfolgen verffigt, wie 
sie z.B. in einer normalen Videokamera entstehen. 
Nachteiligerweise gibt es jedoch Situationen, in denen 

40 keine Bildfolgen zur Verffigung stehen oder bei denen 
die Systemspezifikationen so hart sind,, daB trotz Spu- 
renbildung die Falschalarmrate hoch bleibt 

Der Erfindung liegt die Aufgabe zugrunde, ein Ver- 
fahren der eingangs genannten Art zu schaffen, durch 

45 welches mdglichst viele Informationen aus den digitalen 
Bildern verarbeitet werden, so daB eine optimale Detek- 
tion von Objekten, die gegebenenfalls von verschiede- 
nen Sensoren erzeugt werden, mit einer geeigneten 
Echtzeit-Hardware ermdglicht wird. 

50 Die Aufgabe wird erfindungsgem&B durch die im 
Kennzeichen des Anspruchs 1 angegebenen Verf ah- 
rensschritte gelast 

Eine Ausgestaltung des erfmdungsgemifien Verfah- 
rens ist im Unteranspruch 2 beschriebea 

55 Eine Schaltungsanordnung zur Durchfuhrung des 
Verf ahrens ist im Anspruch 3 beansprucht 

Fur das eingangs genannte Verfahren sind eirfin- 
dungsgemlB die folgenden weiteren Verf ahrensschritte 
vorgesehen, von denen die ersten beiden Verfahrens- 

eo schritte e) und 0 bereits bei einem Detektionsverfahren 
Anwendung finden, welches in der nicht vorverdffent- 
lichten DE-Patentanmeldung P 43 36 751.8 beschrieben 
ist: 



65 e) In mindestens einer ersten von n, eine Reduk- 
tionspyramide bildenden Reduktionsstufen wird 
das von dem Sensor gelieferte digitale Bild um den 
Faktor 2 n zur Erzeugung yon digitalen Teilbildern 
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verkleinea deren Anzahl in it- und y-Richtung des 
digitaien Bildes jeweils dem Verkleinerungsfaktor 
2 n der zugehfcrigen Reduktionsstufe n entspnchu 

Das verkleinerte Bild wird jeweils als Eingabe fur 
einen Punktobjektdetektor verwendet Es ist offensicht- 
iich, daB auch grSBere Objekte bei einer bestimmten 
Reduktionsstufe als Punktobjekte erscheinen und dann 
als bedeutend markiert werden. Durch diesen Mecha- 
nismus kdnnen Objekte mit unterschiedlicher GrdBe 
mit der gleichen Methode detektiert werden. 

f) FQr jedes erzeugte digitale Teilbild einer zugehd- 
rigen Reduktionsstufe werden nacheinander die 
. eingangs genannten Verfahrensschritte a bis e 
durchgef Uhrt, wobei die "und-verknQpften w dilatier- 
ten Mengenelemente jedes digitaien Teilbildes je- 
weils eine ein detektiertes Objekt darstellende Er- 
gebnismenge (ein Teilendergebnis) in einer zuge- 
hdrigen Reduktionsstufe der Reduktionspyramide 
bilden. Hierbei werden die redundanten Ergebnis- 
mengen (Teilendergebnisse) von unterschiedlichen 
Reduktionsstufen, die jeweils dasselbe Objekt in 
verschiedenen ahnlichen Teilbildern markieren, als 
"horizontale Redundanzen* sowie redundante Er- 
gebnismengen (Teilendergebnisse) der unter- 
schiedlichen Reduktionsstufen, die jeweils dasselbe 
Objekt markieren, wenn dieses eine vorgegebene 
Intensit&tsverteilung in Gr6Be und Form aufweist, 
als "vertikale Redundanzen w bezeichnet 

Zum Beispiel erzeugt die Verkleinerung um den Fak- 
tor 2 in beiden Richtungen vier ahnliche aber nicht iden- 
tische Bilder, abhangig vom Versatz des Ursprungs, der 
beispielsweise die Koordinaten (0,0), (0,1), (1.0), (U) an- 
nehmen kann. Eine einzelne Reduktionspyramide mit 4 
Stufen wird auf diese Weise 1+4+16 + 64 = 85 
redundante Bilder erzeugen. Das bedeutet, daB unter 
bestimmten Umstanden ein Objekt bis zu 85mal mar- 
kiert wird. Diese Tatsache reduziert die Wahrscheinlich- 
keit sehr deutlich, daB ein gultiges Objekt wegen des 
nichtlinearen Charakters des Punktobjektdetektors 
nicht detektiert werden kdnnte. 

g) Ein aus den gemaB Verfahrensschritt d markier- 
ten Pixeln der Und-verknflpften Mengenelemente 
gewonnenes zweidimensionales Bild wird mittels 
einer 3 x 3-Matrix derart verkleinert (erodiert), daB 
alle markierten Pixel mit mindestens einem unmar- 
kierten Nachbarn geldscht werden und alle mar- 
kierten Pixel mit (vorzugsweise) acht n&chsten 
Nachbarn erhalten bleiben (erodierte Markierun- 
gen der Teilendergebnisse). Hierdurch werden die 
Auswirkungen von Dilatationen aus vorhergehen- 
den Stufen beseitigt 

h) Aus den markierten Pixeln mit (vorzugsweise) 
acht Nachbarn (erodierte Markierungen der Tei- 
lendergebnisse) wird ein Teilergebnisbild herge- 
stellt,indem 

— die Pixel fQr das Originalbild die Werte 1 oder 0 
derart aufweisen, daB die die Werte 1 aufweisenden 
Pixel zu einem signifikanten Objekt gehdren und 
daB die Pixel mit den Werten 0 nicht zu einem 
signifikanten Objekt gehdren, und in dem 

— die durch die Pixel mit den Werten 1 markierten 
Flachen kompakte Regionen von annahernder 
GrdBe der Objekte im Originalbild darstellen. 

i) Aus den gemaB Verfahrensschritt f markierten 



Pixeln der "und-verknflpften" dilatierten Mengen- 
. elemente jedes digitaien Teilbildes einer zugehflri- 
gen Reduktionsstufe (welches jeweils eine ein de- 
tektiertes Objekt darstellende Ergebnismenge 
5 (Teilendergebnis) in einer zugehdrigen Reduk- 
tionsstufe der Reduktionspyramide bildet) wird je- 
weils ein zweidimensionales Binarbild gewonnen, 
welches mittels einer 3 x 3-Matrix derart verklei- 
nert (erodiert) wird, daB alle markierten Pixel mit 
io mindestens einem unmarkierten Nachbarn ge- 
ldscht werden und alle markierten Pixel mit (vor- 
zugsweise) acht n&chsten Nachbarn erhalten blei- 
ben (erodierte Markierungen der digitaien Teilbil- 
der). 

is j) Aus den markierten Pixeln mit (vorzugsweise) 
acht Nachbarn jedes Teilbildes (erodierte Markie- 
rungen eines digitaien Teilbildes) wird jeweils ein 
zweidimensionales Teilergebnisbild hergestellt, in 
dem jeweils den Werten der markierten Pixeln ein 
20 Wert a hinzuaddiert wird, der sich nach der folgen- 
den Formel errechnet: 

a«(2)t»- , ) f 

wobei *a" den'zu addierenden Wert und V einen 
zahlenmaBig der zugehdrigen Reduktionsstufe der 
Reduktionspyramide entsprechenden Verkleine- 
rungsfaktor bezeichnen. 

30 Es wird sichergestellt, daB grdBeren Objekten mehr 
Wichtigkeit zugemessen wird als kleineren. Dieser Pro- 
zeB wird fQr alle redundanten Ergebnisse fortgesetzt. In 
der ersten Reduktionsstufe haben die Pixel im Ergebnis- 
bild maximal den Wert 3, wenn das Objekt im Original- 
35 bild und im verkleinerten Bild markiert wurde, und den 
Wert 0, wenn es flberhaupt nicht markiert wurde. 

Die Schritte von Verkleinerung, Markierung und Auf- 
summation der Resultate kann beliebig oft wiederholt 
werden. Beispielsweise enthalt bei drei Verkleinerungs- 
40 stuferi das Ergebnisbild kompakte Inseln mit einem ma- 
ximalen Pixeiwert von 15 (entsprechend 1+2+4+8), 
wenn ein Objekt in alien Stufen markiert wurde, und 
einen Minimalwert von 0, wenn keine Markierungen 
existieren. Die Eintragung der Markierungen aus den 
45 verkleinerten Bildern erfolgt deckungsgleich zu der Un- 
terabtastung gemaB Verfahrensschritt e). Die Teilbilder 
werden so wieder zu einem flachendeckenden Gesamt- 
bild verwoben. 
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k) Die erodierten Markierungen der Teilendergeb- 
nisse gem^B Verfahrensschritt g, die Teilergebnis- 
bilder gemaB Verfahrensschritt h, die erodierten 
Markierungen der digitaien Teilbilder gemaB Ver- 
fahrensschritt i sowie die zweidimensionalen Teil- 
ergebnisbilder gemaB Verfahrensschritt j werden 
zu einem zweidimensionalen Gesamtergebnisbild 
f usioniert, in dem 

— die Pixel fQr das Originalbild die Werte 2: 1 oder 
0 derart aufweisen, daB die die Werte £ 1 aufwei- 
senden Pixel zu einem signifikanten Objekt geho- 
ren und daB die Pixel mit den Werten 0 nicht zu 
einem signifikanten Objekt gehdren, und in dem 

— die durch die Pixel mit den Werten £ 1 markier- 
ten Flachen kompakte Regionen von annahernder 
GrdBe der Objekte im Originalbild darstellen. 

I) Das zweidimensionale Gesamtergebnisbild wird 
. einem 3 x 3-Mittelwertfilter (9) zur Erzeugung ei- 
nes Mittelwertes aus der Markierung seines Zen- 
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tralpixels und den Markierungen seiner (vorzugs- 
weise) acht Nachbam zugefuhrL 

Es werden somit Objekte zusammengefugt, die mdg- 
licherweise im ErosionsprozeB und in den vorangegan- 
genen Bearbeitungsstufen getrennt wurden. Dieses re- 
duziert die Wahrscheinlichkeit, daQ das gleiche Objekt 
mehrfach gemeldet wird 

m) Der Mittelwert des zweidimensionalen Gesamt- 
ergebnisbildes wird als Ergebnisbild in einem Er- 
gebnisspeicher (12) abgelegt, und 
n) das den gefilterten Mittelwert des zweidimensio- 
nalen Gesamtergebnisbildes darstellende Ergeb- 
nisbild wird zur Errechnung der Objekteigenschaf- 
ten wie Position, GrdBe, Formfaktor oder Wichtig- 
keit der Objekte einem SegmentationsprozeB un- 
terworfen. 

Errechnet werden beispielsweise die Schwerpunktko- 
ordinaten des Objektes, die "Wichtigkeit" als - Summe 
aller Pixelwerte in einer Objektinsel, der Umfang, die 
Flache und der resultierende Formfaktor des Objektes. 
Die "Wichtigkeit" des Objektes spiegelt den Grad an 
Kompaktheit und einer teilweisen Symmetric wieder, 
der bzw. die im Fusionsprozessor ermittelt wurden. Si- 
mulationsergebnisse zeigen, daB die interessanten Ob- 
jekte im Originalbild auch diejenigen mit dem hdchsten 
Wichtigkeitswert sind. Das bestatigt die der Algorith- 
menentwicklung zugrundeliegenden Annahmea Durch 
Anlegen von unterschiediichen Schwellen an die "Wich- 
tigkeit* der Objekte kommt man zu einer Teilklassifika- 
tion von Objekten in einem Bild. 

In einem Sensorbild auftretende verschiedene Objek- 
te werden zu ihrer Klassifikation nach ihrer Position, 
Gr6Be, Form oder Wichtigkeit oder nach einer Kombi- 
nation der ermittelten Objekteigenschaften in eine Liste 
nach fallender Wertigkeit eingetragen. Beispielsweise 
konnen Ober- und Untergrenzen der Wertigkeit festge- 
legt und damit bestimmte Klassen von Objekten ausge- 
wahlt werden. Die Auswahl kann sich auch auf die Grd- 
Be, Form oder Wichtigkeit der Objekte stOtzen, oder auf 
eine (Combination der ermittelten Objekteigenschaften. 

In der Zeichnung ist ein Ausfuhrungsbeispiel der Er- 
findung in Form eines Blockschaltbildes dargestellt, und 
zwar zeigt die einzige Figur eine Schaltungsanordnung 
zur Weiterverarbeitung eines seriellen kontinuierlichen 
Bilddatenstromes, der zeilenweise aus dem zweidimen- 
sionalen Binarbild fur die nach den eingangs beschriebe- 
nen Verfahrensmerkmalen d) und f) gewonnenen Ob- 
jektmarkierungen gebildet wird und somit die Objekt- 
markierungen reprasentiert. 

Der binare Datenstrom fur die Objektmarkierungen 
wird den Eingangen einer 3 x 3-Bildpunktmatrix 2 un- 
verzdggrj sowie mit Hilfe von zwei Verzdgerungslei- 
tungen 1.1 uncf 1.2, die jeweils die Lange der Zeile eines 
digitalen Bildes aufweisen, Qber eine bzw. tiber beide (in 
Serie geschaltete) Verzdgerungsleitungen 1.1 bzw. 1.2 
verzogert zugefQhrt. Die 3 x 3-Matrix 2 liefert aus den 
drei benachbarten Zeilen fur jedes markierte Pixel die 
zugehorigen Nachbarpixel. Wenn das Zentralpixel und 
seine acht Nachbarpixel markiert sind, erzeugt das der 
3 x 3-Matrix 2 nachgeordnete Und-Verknupfungsglied 
3 fur dieses Zentralpixel erneut eine Markierung. Damit 
steht am Ausgang des Und-Gliedes 3 ein binarer Daten- 
strom zur Verfiigung, der die erodierten Markierungen 
des Eingangsbildes enthalt 

Mit Hilfe eines dem Und-Glied 3 nachgeschalteten 
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Multipliziergliedes 4 werden die im ErosionsprozeB er- 
zeueten Markierungen mit dem Verkleinerungsfaktor 
2< n multipliziert. Am Ausgang des Multipliziergliedes- 
4 steht ein Bilddatenstrom an, der die der Wertigkeit des 
5 aktuellen Verkleinerungsfaktors entsprechenden Mar- 
kierungen enthalt. Zu diesen Markierungen werden mit_ 
Hilfe eines Addiergliedes 6 die zugehorigen Werte des 
vorangegangenen Durchlaufs, die in einem Zwischen- 
speicher 7 abgespeichert sind, hinzugefugt Das Ergeb- 
io nis der Summe wird ebenfalls im Zwischenspeicher 7 
abgelegt Den aktuellen Verkleinerungsfaktor fur das 
Multiplizierglied 4, die diesem Faktor entsprechende 
Adressierung des Zwischenspeichers 7 sowie den Befehl 
zur Maskierung der Zwischenspeicherergebnisse fur ein 
is dem Addierglied 6 vorgeschaltetes UND-Verknup- 
fungsglied 5 liefert eine Steuereinrichtung 14. Hierbei 
mufl das Ergebnis des Zwischenspeichers 7 beim ersten 
Durchlauf des Verkleinerungsprozesses ignoriert wer- 
den, was mittels des UND-Verknupfungsgliedes 5 
20 durchgef uhrt wircL 

Wenn der VerkleinerungsprozeB abgeschlossen ist, 
d. h. wenn alle Verkleinerungsstufen abgearbeitet sind, 
dann wird das im Zwischenspeicher 7 vorliegende Bild 
einer Filterung unterzogen. Hierzu wird der Zwischen- 
25 speicher 7 mittels geeigneter Adressierung durch die 
Steuereinrichtung 14 zeilenweise ausgelesen, so daB ein 
kontinuierlicher Bilddatenstrom entsteht Dieser Daten- 
strom wird einer 3 x 3-Bildpunktmatrix 9 unverzSgert 
sowie mit Hilfe von zwei weiteren Verzdgerungsleitun- 
30 gen 8.1 und &2 urn jeweils eine bzw. zwei Bildzeilen 
verzdgert zur Verfugung gestellt Die 3 x 3-Bildpunkt- 
matrix 9 liefert aus den drei benachbarten Zeilen die 
Werte f Or jedes Pixel mit den jeweiligen Nachbarpixeln. 
In einem der 3 x 3-Bildpunktmatrix nachgeordneten 
35 Addierglied 10 wird die Summe der neun gleichzeitig an 
seinen Eing&ngen anliegenden Werte generiert und an- 
schlieBend in einem Dividierglied 11 durch den Faktor 9 
geteilt Somit liegt am Ausgang des Dividiergliedes 11 
fur jedes Pixel des Originalbildes der Mittelwert aus der 
40 Markierung des Zentralpixels und den Markierungen 
seiner acht Nachbarpixel an. Der hieraus resultierende 
Datenstrom wird als Ergebnisbild in einem Ergebnis- 
speicher 12 abgelegt, dessen Adressierung von der 
Steuereinrichtung 14 vorgenommen wird. 
45 Dem Ergebnisspeicher 12 ist ein Segmentationspro- 
zessor 13 nachgeordnet, der vorzugsweise durch ein Si- 
gnal- bzw. Mikroprozessor-System gebildet wird. Der 
Prozessor 13 kann als Ergebnis des Systems eine nach 
fallender Wichtigkeit sortierte Objektliste bereitstellen. 
so Anwendungsgebiete der Erfindung sind beispielswei- 
se die automatische Detektion von unterschiedlich gro- 
Ben Objekten, ailgemeine Oberwachungsaufgaben, bei 
denen das dauernde Monitoring von Ereignissen, Din- 
gen oder Einrichtungen erforderlich ist, oder das Sortie- 
55 ren unterschiedlicher Produktionsguter nach Gr5fte, 
Form und wenn ndtig Farbe mittels einer Farbkamdfra^ 
und einer Modifikation der oben erlauterten Verfah- 
rensschritte. 

6o Bezugszeichenliste 

1.1/1^ Verzdgerungsleitungen mit der Lange einer Zei- 
le 

8.1/8.2 des Originalbildes 
65 2 3 x 3-Bildpunktmatrix, die aus drei benachbarten Zei- 
len des zweidimensionalen Binarbildes das Zentralpixel 
mit seinen acht Nachbarpixeln liefert 
3 Und-Verknupfungsglied fur den ErosionsprozeB 
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4 Multiplizierglied, das die binaren Markierungen aus 
dem ErosionsprozeB mit dem aktuellen Verkleinerungs- 
faktor 2* n multipliziert 

5 UND-VerknUpfungsglied, welches die Daten des Zwi- 
schenspeichers 7 beim ersten Durchlauf der Aufsum- 5 
mierung maskiert 

5 Addierglied summiert die aktuellen Markierungen aus 
dem ErosionsprozeB mit den zugehdrigen Markierun- 
gen des vorangegangenen Durchlaufes(Akkumulation) 
7 Zwischenspeicher fQr die Ergebnisse der Aufsummie- 10 
rungen fQr den nachsten Durchlauf 
"9 3x3-Bildpunktmatrix liefert aus drei benachbarten 
Zeilen des zweidimensionalen Summationsbildes das 
Zentralpixel mit seinen acht Nachbarpixeln 
10 Addierglied, welches zu der Markierungssumme des 15 
Zentralpixels die Markierungssummen der acht Nach- 
barpixel addiert 

H i Dividierglied, das die Summe der neun Markierungs- 
summen durch neun dividiert 

12 Ergebnisspeicher speichert das gefilterte Ergebnis- 20 
bild fOr die weitere Bearbeitung 

13 Segmentationsprozessor liefert eine sortierte Ob- 
jektliste 14 Steuereinrichtung zur Steuerung des Fu- 
sionsprozesses und fur die Adressierung von Zwischen- 
und Ergebnisspeicher 25 

Patentansprfiche 

1. Verfahren zur automatischen Deiektion von klei- 
nen beweglichen Objekten in naturlicher Umge- 30 
bung vorzugsweise einer Echtzeitbildfolge unter 
Verwendung eines die Umgebung abtastenden 
elektrooptischen Sensors mit nachgeordneter Aus- 
werteeinheit und gegebenenfalls vorgesehener 
Bilddarstellungseinrichtung mit folgenden Verf ah- 35 
rensschritten: 

a) ein von dem Sensor geliefertes digitales Bild 
wird von mindestens drei jeweils mehrere Pi- 
xel enthaltenden Matrizen abgetastet, wobei 
jeder Matrix eine Referenzmenge auBerhalb 40 
des zugehdrigen Matrixmittelpunktes vorge- 
geben wird und wobei die Referenzmengen 
jeder Matrix sich voneiftander unterscheiden, 

b) von jeder Referenzmenge werden das Ma- 
ximum und Minimum der Helligkeitswerte er- 45 
mittelt, 

c) das dem jeweiligen Matrixmittelpunkt ent- 
sprechende Pixel des Sensorbildes wird dann 
markiert, wenn erstens dieses Pixel um einen 
ersten Schwellwert heller als das Maximum 50 
der Helligkeitswerte der zugehdrigen Refe- 
renzmenge ist und zweitens wenn die Streu- 
ung der zugehdrigen Referenzmenge kleiner 
als ein weiterer fester Schwellwert ist, wobei 
als Mafi fiir die Streuung der Helligkeitswerte 55 

W$ hier-vorzugsweise die Diff erenz von Maximum 
und Minimum verwendet wird, 

d) die benachbarten Pixel jedes markierten Pi- 
xels des digitalen Bildes werden markiert, so 
daB alle markierten Pixel eine dilatierte Menge 60 
bilden, und es werden die aus einer Referenz- 
menge gewonnenen dilatierten Mengenele- 
mente mit den anderen jeweils aus einer Refe- 
renzmenge hervorgegangenen dilatierten 
Mengenelementen UND-verknupft, 65 

gekennzetchnet durch folgende weitere Verfah- 
rensschritte: 

e) in mindestens einer ersten von n, eine Re^ 



duktionspyramide bildenden Reduktionsstu- 
fen wird das von dem Sensor gelieferte digkale 
Bild um den Faktor 2 n zur Erzeugung von digi- 
talen Teilbildern verkleinert, deren Anzahl in 
x- und y-Richtung des digitalen Bildes jeweils 
dem Verkleinerungsfaktor 2 n der zugehdrigen 
Reduktionsstufe n entspricht, 

f) far jedes erzeugte digitate Teilbild einer zu- 
gehdrigen Reduktionsstufe werden nacheinan- 
der die Verfahrensschrttte a bis e durchge- 
fOhrt, wobei die "und-verknttpften" dilatierten 
Mengenelemente jedes digitalen Teilbildes je- 
weils eine ein detektiertes Objekt darstellende 
Ergebnismenge (ein Teilendergebnis) in einer 
zugehdrigen Reduktionsstufe der Reduktions- 
pyramide bilden, und wobei redundante Er- 
gebntsmengen (Teilendergebnisse) von unter- 
schiedlichen Reduktionsstufen, die jeweils das- 
selbe Objekt in verschiedenen ahnlichen Teil- 
bildern markieren, "horizontal Redundanzen" 
sowie redundante Ergebnismengen (Teilend- 
ergebnisse) der unterschiedlichen Reduktions- 
stufen, die jeweils dasselbe Objekt markieren, 
wenn dieses eine vorgegebene Intensitatsver- 
teilung in GrdBe und Form aufweist, "vertikale 
Redundanzen" bilden, 

g) ein aus den gem&B Verf ahrensschritt d mar- 
kierten Pixeln der Und-verknflpften Mengen- 
elemente gewonnenes zweidimensionales Bild 
wird mittels einer 3 x 3-Matrix (2) derart ver- 
kleinert (erodiert), daB alle markierten Pixel 
mit mindestens einem unmarkierten Nachbam 
geldscht werden und alle markierten Pixel mit 
(vorzugsweise) acht nachsten Nachbarn erhal- 
ten bleiben (erodierte Markierungen der Tei- 
lendergebnisse), 

h) aus den markierten Pixeln mit (vorzugswei- 
se) acht Nachbarn (erodierte Markierungen 
der Teilendergebnisse) wird ein Teilergebnis- 
bild hergestellt, in dem 

— die Pixel fur das Originalbild die Werte 1 
oder 0 derart aufweisen, daB die die Werte 1 
aufweisenden Pixel zu einem signifikanten Ob- 
jekt gehdren und daB die Pixel mit deh Werten 
0 nicht zu einem signifikanten Objekt gehdren, 
und in dem 

— die durch die Pixel mit den Werten 1 mar- 
kierten Flachen kompakte Regionen von an- 
nahemder GrdBe der Objekte im Originalbild 
darstellen, 

i) aus den gem&B Verf ahrensschritt f markier- 
ten Pixeln der "und-verknupften" dilatierten 
Mengenelemente jedes digitalen Teilbildes ei- 
ner zugehdrigen Reduktionsstufe (welches je- 
weils eine ein detektiertes Objekt darstellende 
Ergebnismenge (Teilendergebnis) in einergzu- 
gehdrigen Reduktionsstufe der Reduktionspy- 
ramide bildet) wird jeweils ein zweidimensio- 
nales Binarbild gewonnen, welches mittels ei- 
ner 3 x 3-Matrix (2) derart verkleinert (ero- 
diert) wird, daB alle markierten Pixel mit min- 
destens einem unmarkierten Nachbarn ge- 
ldscht werden und alle markierten Pixel mit 
(vorzugsweise) acht nachsten Nachbarn erhal- 
ten bleiben (erodierte Markierungen der digi- 
talen Teilbilder), 

j) aus den markierten Pixeln mit (vorzugswei- 
se) acht Nachbarn jedes Teilbildes (erodierte 
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Markiemngen eines digitalcn Teilbildes) wird 
jeweils ein zweidimensionales Teilergebnisbild 
hergestellt, in dem jeweils den Wer*en der 
markierten Pixeln ein Wert a hinzuaddiert 
wird, der sich nach der folgenden Formel er- 5 
rechnet: 

a - (2/ nl >, 

wobei "a" den zu addierenden Wert und "n" 10 
einen zahlenm&Big der zugehorigen Reduk- 
tionsstufe der Reduktionspyramide entspre- 
chenden Verkleinerungsfaktor bezeichnen, 
k) die erodierten Markiemngen der Teilender- 
gebnisse gemaB Verfahrensschritt g, die Teil- 15 
ergebnisbilder gemaB Verfahrensschritt h, die 
erodierten Markiemngen der digitalen Teilbil- 
der gemaB Verfahrensschritt i sowie die zwei- 
dimensionalen Teilergebnisbilder gemaB Ver- 
fahrensschritt j werden zu einem zweidimen- 20 
sionalen Gesamtergebnisbild fusioniert, in 
dem 

— die Pixel fur das Originalbiid die Werte > 1 
oder Oderartaufweisen,daB die die Werte £ 1 
aufweisenden Pbcel zu einem signifikanten Ob- 25 
jekt gehdren und daB die Pixel mit den Werten 

0 nicht zu einem signifikanten Objekt gehdren, 
und in dem 

— die durch die Pixel mit den Werten £ 1 
markierten Flachen kompakte Regionen von 30 
annahernder GrdBe der Objekte im Original- 
biid darstellen, 

1) das zweidimensionale Gesamtergebnisbild 
wird einem 3 x 3-Mittelwertfilter (8.1 bis 11) 
zur Erzeugung eines Mittelwertes aus der 35 
Markierung seines Zentralpixels und den Mar- 
kiemngen seiner (vorzugsweise) 8 Nachbarn 
zugefQhrt, 

m) der Mittelwert des zweidimensionalen Ge- 
samtergebnisbildes wird als Ergebnisbild in ei- 40 
nem Ergebnisspeicher (12) abgelegt, und 
n) das den gefilterten Mittelwert des zweidi- 
mensionalen Gesamtergebnisbildes darstel- 
lende Ergebnisbild wird zur Errechnung der 
Objekteigenschaften wie Position, GrdBe, 45 
Formfaktor oder Wichtigkeit der Objekte ei- 
nem SegmentationsprozeB unterworfen. 

2. Verfahren nach Anspmch 1, dadurch gekenn- 
zeichnet, daB in einem Sensorbild auftretende ver- 
schiedene Objekte zu ihrer Klassifiziemng nach ih- 50 
rer Position, GrdBe, Form oder Wichtigkeit oder 
nach einer Kombination der ermittelten Objektei- 
genschaften in eine Liste von failender Wertigkeit 
eingetragen werden. 

3. Schaltungsanordnung zur Durchfuhrung des 55 
Verf ahrens nach Anspmch 1 unter Verwendung ei- 
nes die Umgebung abtastenden elektrooptischen 
Sensors mit nachgeordneter Auswerteeinheit zur 
Weiterverarbeitung eines seriellen Datenstromes, 
der zeilenweise aus dem zweidimensionalen Binar- 60 
bild fur die nach den Verfahrensmerkmalen d) und 

f) gewonnenen Objektmarkierungen gebildet wird, 
dadurch gekennzeichnet, 

— daB eine 3 x 3-Matrix (2) mit drei Eingangen 
und einem nachgeordneten Und-Glied (3) vor- 65 
gesehen ist, an deren ersten Eingang der seriel- 

le Datenstrom direkt ansteht, an deren zweiten 
Eingang der serielle Datenstrom uber eine 
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Verzdgeruhgsleitung (1.1) von der L&nge der 
Zeile eines digitalen Bildes gelangt und derem 
dritten Eingang der serielle Datenstrom Qber 
zwei in Serie geschaltete Verzdgerungsleitun- 
gen (1.1 und 1.2) jeweils von der L&nge der 
Zeile eines digitalen Bildes zugefuhrt wird, 

— daB dem Und-Glied (3) ein von einer 
Steuereinrichtung (14) gesteuertes Multipli- 
zierglied (4) nachgeschaltet ist, 

— daB der Ausgang des Multipliziergliedes (4) 
mit einem von zwei Eingangen eines Addier- 
gliedes (6) verbunden ist, dessen zweiter Ein- 
gang an dem Ausgang eines UND-VerknQp- 
fungsgliedes (5) angeschlossen und dessen 
Ausgang zu einem Zwischenspeicher (7) ge- 
fuhrt ist, wobei das UND-VerknOpfungsglied 
(5) und der Zwischenspeicher (7) von der 
Steuereinrichtung (14) gesteuert werden, 

— daB der Ausgang des Zwischenspeichers (7) 
an den zweiten Eingang des UND-Verknup- 
fungsgliedes (5), an den ersten Eingang einer 
3x3-Bildpunktmatrix (9), an deren zweiten 
Eingang Qber eine Verzdgerungsleitung (8.1) 
von der L&nge der Zeile eines digitalen Bildes 

, und an den dritten Eingang der 3x3-Bild- 
punktmatrix (9) Qber zwei in Serie geschaltete 
Verzogerungsleitungen (8.1 und 8^) jeweils 
von der Lange einer Zeile eines digitalen Bil- 
des angeschlossen ist, 

— daB der 3 x 3-Bildpunktmatrix (9) ein Ad- 
dierglied (10X ein Dividierglied (11) und ein 
von der Steuereinrichtung (14) gesteuerter Er- 
gebnisspeicher (12) zur Speichemng des gefil- 
terten Ergebnisbildes nachgeordnet sind, und 

— daB dem Ergebnisspeicher (12) ein Segmen- 
tationsprozessor (13) zur Ermittlung der Ob- 
jekteigenschaften nachgeschaltet ist 
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